愚人节的走心故事,说说我与 Kylin 的那些事
Apache Kylin Meetup 北京站即将在4月13日火热开启(文末点击阅读原文一键报名)!活动前小编特邀了两位来自小米和58同城的讲师进行 Kylin 小问答。想尝试 Kylin 的用户,这里除了有讲师们和 Kylin 的故事渊源,也有讲师们对于 Kylin 新人们的使用建议~
1. 请简单介绍您与 Apache Kylin 的渊源
陈学辉——小米大数据平台 OLAP 负责人:
“2017年下半年,随着业务数据的不断增长,原有基于MySQL的存储方案性能和扩展性愈发成为瓶颈,开始调研开源的OLAP项目。Kylin能够提供百亿数据毫秒级响应极大的激发了我们的兴趣,我们是小米内部第一个将Kylin引入正式环境的团队。”
何良均——58大数据平台资深工程师:
“4年前第一次接触Kylin,并进行过测试,记得测试的版本是0.7,当时需要对广告投放效果进行实时多维分析,0.7版本的Kylin还不支持实时多维分析,最后选择了其他方案。现在我们线上大量用的版本是1.5.3,做了很多定制开发,稳定运行了2年多,最近刚上线2.6.0,我们在1.5.3版本的修改解决的问题大部分在2.5+版本中修复,而且新版本功能更强大和更稳定。”
2. 使用 Apache Kylin 的过程中,您觉得有哪些有趣的操作?
陈学辉——小米大数据平台 OLAP 负责人:
通过精心的Cube调优,能够实现毫秒级的查询响应,实现大数据分析领域的“举重若轻”。
何良均——58大数据平台资深工程师:
Kylin用了很多很有意思的数据结构和算法:BitMap、HyperLogLog、Trie树等;以及基于BitMap的用户留存分析功能等。
3. 最期待 Kylin 哪些功能的发布或升级?
陈学辉——小米大数据平台 OLAP 负责人:
更强大易用的 Cube 优化工具。
何良均——58大数据平台资深工程师:
社区版支持 HBase 外的其他存储引擎;集群模式部署时更加方便和智能。
4. 对于正在使用或者想尝试使用 Kylin 的小伙伴有什么建议?
陈学辉——小米大数据平台 OLAP 负责人:
想尝试的小伙伴:维度变化不频繁相对固定,维度的基数(取值范围)很大或者增长迅速,需要秒级或者亚秒级的查询响应,用 Kylin 就对了,稳!
何良均——58大数据平台资深工程师:
Kylin 作为大数据 OLAP 解决方案,上下游涉及到的技术囊括了Hive、MapReduce、Spark和 HBase 等 Hadoop 生态圈的大部分组件,里面还使用了各种奇妙的数据结构和算法,比如 BitMap、HyperLogLog 等,如果时间充裕,建议一定要从代码层面好好学习Kylin,熟悉了 Kylin,大数据相关的技术也就比较了解了。
活动报名:
点击【阅读原文】,一键报名
我们将在活动前三天向报名的联系手机号发送参会提示。
如您有任何疑问,可联系主办方(严琰 18621704476)
留言互动:
留言告诉小编你和 Kylin 认识的渊源故事,或是在使用过程中让你受益良多的功能介绍,就有机会获得《Apache Kylin 权威指南】一本,欢迎大家多多留言~
"Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks."